정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
다중 이종 NPU 장치에서 다중 뉴럴넷을 추론하기 위한 NPU 운영체제 플랫폼 개발 |
| 영문제목(English Title) |
Development of NPU Operating System Platform for Inference of Multiple Neural Networks on Multiple Heterogeneous NPU Devices |
| 저자(Author) |
김상철
김용연
김태호
Sang Cheol Kim
Yong Yeon Kim
Taeho Kim
|
| 원문수록처(Citation) |
VOL 26 NO. 12 PP. 0561 ~ 0566 (2020. 12) |
한글내용
(Korean Abstract) |
최근에 AI를 이용하여 이미지를 빠르게 추론하기 위해 NPU라는 전용 디바이스가 생기기 시작했다. 현재에는 이러한 NPU를 이용하여 단일 뉴럴넷을 단일 NPU에서 추론하는 수준에 머물러 있으나 복수의 추론 요청이 있는 복수의 응용 프로그램을 실행할 때에는 이와는 다르게 매우 복잡한 문제를 고려하여야 한다. 특히 NPU는 시스템 제조사마다 컴파일 방식도 다르고 실행환경도 다르게 제공되므로 추론 방식은 반드시 여러 종류의 NPU가 존재할 수 있다는 것을 고려하여 제공되어야 한다. 본 논문에서는 다양한 형태의 NPU가 복수 개가 존재하고 뉴럴넷 모델도 복수 개가 제공될 때 추론하는 NPU 운영체제 플랫폼을 제안한다. 제안 방식을 사용하면 다양한 형태의 NPU 디바이스에서 복수의 뉴럴넷 추론 응용 프로그램들이 쉽고, 빠르고 효율적으로 실행 및 제어되는 것이 가능하다. |
영문내용
(English Abstract) |
A special device called NPU has recently come into widespread use for inferring images using an AI technique. Currently, it remains at the level of inferring a single neural network from a single NPU using such an NPU, but when executing multiple application programs with multiple inference requests, complex issues occur which must be addressed. Specifically, since the compilation method and the execution environment for NPU devices differ between each system manufacturer, the inference mechanism must be provided while taking into account that there may be several types of NPUs. In this paper, we propose an NPU operating system platform that infers when multiple NPUs of various types exist and multiple neural net models are provided. The proposed method enables the easy, quick, and efficient execution and control of multiple neural net inference applications in various types of NPU devices. |
| 키워드(Keyword) |
뉴럴 네트워크
뉴럴 프로세싱 장치
인공지능 운영체제
인공지능 소프트웨어 플랫폼
neural network
neural processing device
artificial intelligence operating system
artificial intelligence software platform
|
| 파일첨부 |
PDF 다운로드
|
